我们为处理顺序决策和外在不确定性的应用程序开发了增强学习（RL）框架，例如资源分配和库存管理。在这些应用中，不确定性仅由于未来需求等外源变量所致。一种流行的方法是使用历史数据预测外源变量，然后对预测进行计划。但是，这种间接方法需要对外源过程进行高保真模型，以确保良好的下游决策，当外源性过程复杂时，这可能是不切实际的。在这项工作中，我们提出了一种基于事后观察学习的替代方法，该方法避开了对外源过程进行建模的建模。我们的主要见解是，与Sim2real RL不同，我们可以在历史数据中重新审视过去的决定，并在这些应用程序中对其他动作产生反事实后果。我们的框架将事后最佳的行动用作政策培训信号，并在决策绩效方面具有强大的理论保证。我们使用框架开发了一种算法，以分配计算资源，以用于现实世界中的Microsoft Azure工作负载。结果表明，我们的方法比域特异性的启发式方法和SIM2REAL RL基准学习更好的政策。

我们提供了一种通过从域知识或离线数据构建的启发式提供加强学习（RL）算法的框架。 Tabula RAS RL算法需要与顺序决策任务的地平线相比的环境相互作用或计算。使用我们的框架，我们展示了启发式引导的RL如何引导更短的地平次数，可从而解决原始任务。我们的框架可以被视为基于地平线的正则化，用于在有限互动预算下控制RL中的偏差和方差。在理论方面，我们表征了良好启发式的特性及其对RL加速的影响。特别是，我们介绍了一种新颖的启发式的概念，一种启发式，允许RL代理外推超出其先前知识。在实证方面，我们实例化了我们的框架，以加速模拟机器人控制任务和程序生成的游戏中的若干最先进的算法。我们的框架在热启动RL与专家演示或探索数据集中的丰富文学补充，并引入了一种用于将先验知识注入RL的原则方法。

Consider two brands that want to jointly test alternate web experiences for their customers with an A/B test. Such collaborative tests are today enabled using \textit{third-party cookies}, where each brand has information on the identity of visitors to another website. With the imminent elimination of third-party cookies, such A/B tests will become untenable. We propose a two-stage experimental design, where the two brands only need to agree on high-level aggregate parameters of the experiment to test the alternate experiences. Our design respects the privacy of customers. We propose an estimater of the Average Treatment Effect (ATE), show that it is unbiased and theoretically compute its variance. Our demonstration describes how a marketer for a brand can design such an experiment and analyze the results. On real and simulated data, we show that the approach provides valid estimate of the ATE with low variance and is robust to the proportion of visitors overlapping across the brands.

用于对象检测的注释边界框很昂贵，耗时且容易出错。在这项工作中，我们提出了一个基于DITR的框架，该框架旨在在部分注释的密集场景数据集中明确完成丢失的注释。这减少了注释场景中的每个对象实例，从而降低注释成本。完成DETR解码器中的对象查询，并使用图像中对象的补丁信息。结合匹配损失，它可以有效地找到与输入补丁相似的对象并完成丢失的注释。我们表明，我们的框架优于最先进的方法，例如软采样和公正的老师，同时可以与这些方法一起使用以进一步提高其性能。我们的框架对下游对象探测器的选择也不可知。我们显示了多个流行探测器的性能改进，例如在多个密集的场景数据集中更快的R-CNN，CASCADE R-CNN，CENTERNET2和可变形的DETR。

作为内容编辑成熟的工具，以及基于人工智能（AI）综合媒体增长的算法，在线媒体上的操纵内容的存在正在增加。这种现象导致错误信息的传播，从而更需要区分“真实”和“操纵”内容。为此，我们介绍了Videosham，该数据集由826个视频（413个真实和413个操纵）组成。许多现有的DeepFake数据集专注于两种类型的面部操作 - 与另一个受试者的面部交换或更改现有面部。另一方面，Videosham包含更多样化的，上下文丰富的和以人为本的高分辨率视频，使用6种不同的空间和时间攻击组合来操纵。我们的分析表明，最新的操纵检测算法仅适用于一些特定的攻击，并且在Videosham上不能很好地扩展。我们在亚马逊机械土耳其人上进行了一项用户研究，其中1200名参与者可以区分Videosham中的真实视频和操纵视频。最后，我们更深入地研究了人类和sota-Algorithms表演的优势和劣势，以识别需要用更好的AI算法填补的差距。

大多数现有的作品在少数拍摄对象检测（FSOD）上的工作重点是从类似域中进行预训练和几乎没有弹出的学习数据集的设置。但是，在多个域中，很少有射击算法很重要。因此，评估需要反映广泛的应用。我们提出了一个多域数少数对象检测（MOFSOD）基准，该基准由来自各个域的10个数据集组成，以评估FSOD算法。我们全面分析了冷冻层，不同的体系结构和不同的预训练数据集对FSOD性能的影响。我们的经验结果表明，以前的作品中尚未探索过的几个关键因素：1）与以前的信念相反，在多域基准测试中，微调（FT）是FSOD的强大基线，在PAR上表现或更好最先进的（SOTA）算法； 2）利用FT作为基线使我们能够探索多个体系结构，我们发现它们对下游的几杆任务产生重大影响，即使具有类似的训练性能； 3）通过取消预训练和几乎没有学习的学习，MOFSOD使我们能够探索不同的预训练数据集的影响，并且正确的选择可以显着提高下游任务的性能。基于这些发现，我们列出了可能提高FSOD性能的调查途径，并对现有算法进行了两次简单修改，这些算法导致MOFSOD基准上的SOTA性能。该代码可在https://github.com/amazon-research/few-shot-object-detection-benchmark上获得。

我们提出了一种方法，可以根据他们观看过的先前视频中标记的其首选亮点剪辑来检测给定目标视频中用户的个性重点。我们的方法明确利用对象和人类活动的预训练功能来利用首选剪辑和目标视频的内容。我们设计了一种多头注意机制，可以根据其基于对象和人类活性的内容适应优选的剪辑，并将这些权重融合为每个用户的单个特征表示。我们计算这些每个用户功能表示形式与从所需目标视频计算的每个框架功能之间的相似性，以估算目标视频中用户特定的高光剪辑。我们在包含单个用户带注释的重点的大规模检测数据集上测试我们的方法。与当前的基线相比，我们观察到在检测到的高光的平均平均精度中的绝对改善2-4％。我们还对与每个用户以及基于对象和人类活动的功能表示相关的首选突出显示剪辑的数量进行了广泛的消融实验，以验证我们的方法确实是基于内容的和特定于用户的。

在从少数类（基类）开始的情况下，已经广泛研究了课堂学习学习（CIL）。取而代之的是，我们探索了一个研究不足的CIL现实环境，该设置是从在大量基类中进行预训练的强大模型开始。我们假设强大的基本模型可以为新颖的类别提供良好的表示，并且可以通过小型适应来进行渐进的学习。我们提出了一个2阶段的训练方案，i）功能增强 - 将部分的克隆部分克隆并在新型数据上进行微调，ii）融合 - 将基础和新型分类器组合到统一的分类器中。实验表明，所提出的方法在大型成像网数据集上的最先进的CIL方法明显优于最先进的CIL方法（例如，总体准确度 +最佳 +最佳精度为10％）。我们还建议和分析研究研究的实际CIL方案，例如与分布转移的基础新颖性重叠。我们提出的方法是鲁棒的，并概括了所有分析的CIL设置。代码可从https://github.com/amazon-research/sp-cil获得。

深度学习中的许多任务涉及优化\ emph {输入}到网络以最小化或最大化一些目标;示例包括在生成模型中的潜在空间上的优化，以匹配目标图像，或者对其进行对接扰动的前进扰动以恶化分类器性能。然而，执行这种优化是传统上的昂贵，因为它涉及完全向前和向后通过网络，每个梯度步骤。在单独的工作中，最近的研究线程已经开发了深度均衡（DEQ）模型，一类放弃传统网络深度的模型，而是通过找到单个非线性层的固定点来计算网络的输出。在本文中，我们表明这两个设置之间存在自然协同作用。虽然，对于这些优化问题的天真使用DEQs是昂贵的（由于计算每个渐变步骤所需的时间），我们可以利用基于梯度的优化可以\ emph {本身}作为一个固定点来利用这一事实迭代基本上提高整体速度。也就是说，我们\ EMPH {同时解决了DEQ固定点\ EMPH {和}在网络输入上优化，所有内容都在单个“增强”的DEQ模型中，共同编码原始网络和优化过程。实际上，程序足够快，使我们允许我们有效地\以传统地依赖于“内在”优化循环的任务的{Train} DEQ模型。我们在各种任务中展示了这种策略，例如培训生成模型，同时优化潜在代码，培训模型，以实现逆问题，如去噪，普及训练和基于梯度的元学习。